接着上面一篇對爬蟲需要的java知識，這一篇目的就是在於網絡爬蟲的實現，對數據的獲取，以便分析。 -----> 目錄： 1、爬蟲原理 2、本地文件數據提取及分析 3、單網頁數 ...

上次用的java相關知識實現了一個簡單的網絡爬蟲，現在存在許多開源免費的爬蟲工具，相對來說，可以很簡單的獲取網頁數據，並寫入到本地。 下面我就闡述一下我用Heritrix爬蟲工具實現網頁數據爬取。 ...

本篇對一些常用的java知識做一個整合，三大特性、IO操作、線程處理、類集處理，目的在於能用這些只是實現一個網頁爬蟲的功能。 Ⅰ　　首先對於一個java開發的項目有一個整體性的了解認知，項目開發流程 ...

　　介於上一篇的java實現網絡爬蟲基礎之上，這一篇的思想是將網絡收集的數據保存到HDFS和數據庫（Mysql）中；然后用MR對HDFS的數據進行索引處理，處理成倒排索引；搜索時先用HDFS建立好的索 ...

　前言： 　　　　根據前面的幾篇博客學習，現在可以進行MapReduce學習了。本篇博客首先闡述了MapReduce的概念及使用原理，其次直接從五個實驗中實踐學習（單詞計數，二次排序，計數器， ...

這一篇網絡爬蟲的實現就要聯系上大數據了。在前兩篇java實現網絡爬蟲和heritrix實現網絡爬蟲的基礎上，這一次是要完整的做一次數據的收集、數據上傳、數據分析、數據結果讀取、數據可視化。 需要用到 ...

一　　原理闡述 1'　　DFS 　　　　分布式文件系統（即DFS，Distributed File System），指文件系統管理的物理存儲資源不一定直接連接在本地節點上，而是通過計算機網絡與節點 ...

本篇的思想：對HDFS獲取的數據進行兩種不同的可視化圖表處理方式。第一種JFreeChar可視化處理生成圖片文件查看。第二種AJAX+JSON+ECharts實現可視化圖表，並呈現於瀏覽器上。 　　 ...